近期目睹了机器学习算法系统的快速发展，尤其是加强学习，自然语言处理，计算机和机器人视觉，图像处理，语音和情感处理和理解。凭借机器学习模型，算法及其应用的越来越重要和相关性，并且随着更多创新使用的深度学习和人工智能的情况，目前的体积呈现出一些创新研究工作及其在现实世界中的应用，如股票交易，医疗和医疗保健系统和软件自动化。本书中的章节说明了如何设计，优化和部署机器学习和深度学习算法和模型。该体积对于高级毕业生和博士生，研究人员，大学教师，练习数据科学家和数据工程师，专业人士和顾问以及在机器学习，深度学习和人工智能的广泛领域。

In this work, we give efficient algorithms for privately estimating a Gaussian distribution in both pure and approximate differential privacy (DP) models with optimal dependence on the dimension in the sample complexity. In the pure DP setting, we give an efficient algorithm that estimates an unknown $d$-dimensional Gaussian distribution up to an arbitrary tiny total variation error using $\widetilde{O}(d^2 \log \kappa)$ samples while tolerating a constant fraction of adversarial outliers. Here, $\kappa$ is the condition number of the target covariance matrix. The sample bound matches best non-private estimators in the dependence on the dimension (up to a polylogarithmic factor). We prove a new lower bound on differentially private covariance estimation to show that the dependence on the condition number $\kappa$ in the above sample bound is also tight. Prior to our work, only identifiability results (yielding inefficient super-polynomial time algorithms) were known for the problem. In the approximate DP setting, we give an efficient algorithm to estimate an unknown Gaussian distribution up to an arbitrarily tiny total variation error using $\widetilde{O}(d^2)$ samples while tolerating a constant fraction of adversarial outliers. Prior to our work, all efficient approximate DP algorithms incurred a super-quadratic sample cost or were not outlier-robust. For the special case of mean estimation, our algorithm achieves the optimal sample complexity of $\widetilde O(d)$, improving on a $\widetilde O(d^{1.5})$ bound from prior work. Our pure DP algorithm relies on a recursive private preconditioning subroutine that utilizes the recent work on private mean estimation [Hopkins et al., 2022]. Our approximate DP algorithms are based on a substantial upgrade of the method of stabilizing convex relaxations introduced in [Kothari et al., 2022].

This paper considers adaptive radar electronic counter-counter measures (ECCM) to mitigate ECM by an adversarial jammer. Our ECCM approach models the jammer-radar interaction as a Principal Agent Problem (PAP), a popular economics framework for interaction between two entities with an information imbalance. In our setup, the radar does not know the jammer's utility. Instead, the radar learns the jammer's utility adaptively over time using inverse reinforcement learning. The radar's adaptive ECCM objective is two-fold (1) maximize its utility by solving the PAP, and (2) estimate the jammer's utility by observing its response. Our adaptive ECCM scheme uses deep ideas from revealed preference in micro-economics and principal agent problem in contract theory. Our numerical results show that, over time, our adaptive ECCM both identifies and mitigates the jammer's utility.

Recent visuolinguistic pre-trained models show promising progress on various end tasks such as image retrieval and video captioning. Yet, they fail miserably on the recently proposed Winoground dataset, which challenges models to match paired images and English captions, with items constructed to overlap lexically but differ in meaning (e.g., "there is a mug in some grass" vs. "there is some grass in a mug"). By annotating the dataset using new fine-grained tags, we show that solving the Winoground task requires not just compositional language understanding, but a host of other abilities like commonsense reasoning or locating small, out-of-focus objects in low-resolution images. In this paper, we identify the dataset's main challenges through a suite of experiments on related tasks (probing task, image retrieval task), data augmentation, and manual inspection of the dataset. Our analysis suggests that a main challenge in visuolinguistic models may lie in fusing visual and textual representations, rather than in compositional language understanding. We release our annotation and code at https://github.com/ajd12342/why-winoground-hard .

最近在生物医学中大型数据集的可用性激发了多种医疗保健应用的代表性学习方法的开发。尽管预测性能取得了进步，但这种方法的临床实用性在暴露于现实世界数据时受到限制。在这里，我们开发模型诊断措施，以检测部署过程中潜在的陷阱，而无需访问外部数据。具体而言，我们专注于通过数据转换建模电生理信号（EEG）的现实数据转移，并通过分析a）模型的潜在空间和b）预测性不确定性在这些变换下扩展了常规的基于任务的评估。我们使用公开可用的大规模临床EEG进行了多个EEG功能编码器和两个临床相关的下游任务进行实验。在这种实验环境中，我们的结果表明，在提出的数据转移下，潜在空间完整性和模型不确定性的度量可能有助于预测部署过程中的性能退化。

数据异构联合学习（FL）系统遭受了两个重要的收敛误差来源：1）客户漂移错误是由于在客户端执行多个局部优化步骤而引起的，以及2）部分客户参与错误，这是一个事实，仅一小部分子集边缘客户参加每轮培训。我们发现其中，只有前者在文献中受到了极大的关注。为了解决这个问题，我们提出了FedVarp，这是在服务器上应用的一种新颖的差异算法，它消除了由于部分客户参与而导致的错误。为此，服务器只是将每个客户端的最新更新保持在内存中，并将其用作每回合中非参与客户的替代更新。此外，为了减轻服务器上的内存需求，我们提出了一种新颖的基于聚类的方差降低算法clusterfedvarp。与以前提出的方法不同，FedVarp和ClusterFedVarp均不需要在客户端上进行其他计算或其他优化参数的通信。通过广泛的实验，我们表明FedVarp优于最先进的方法，而ClusterFedVarp实现了与FedVarp相当的性能，并且记忆要求较少。

由于众所周知，强化学习算法是数据密集型的，因此从环境中进行采样观测的任务通常在多个代理之间分配。但是，将这些观察结果从代理转移到中心位置可能会非常昂贵，并且还可以损害每个代理人本地行为政策的隐私。在本文中，我们考虑了一个联合加强学习框架，其中多个代理商协作学习了一个全球模型，而无需共享他们的个人数据和政策。每个代理都维护模型的本地副本，并使用本地采样数据对其进行更新。尽管具有n个代理可以启用n次数据的采样，但尚不清楚它是否导致比例收敛的加速。我们提出了联合版本的On-Policy TD，Off-Policy TD和Q学习，并分析其收敛性。对于所有这些算法，据我们所知，我们是第一个考虑马尔可夫噪声和多个局部更新的人，并证明相对于代理的数量是线性收敛的速度。为了获得这些结果，我们表明联邦TD和Q学习是与马尔可夫噪声联合随机近似的一般框架的特殊情况，并且我们利用该框架提供了适用于所有算法的统一收敛分析。

TSNE和UMAP是两个最流行的降低算法，因为它们的速度和可解释的低维嵌入。但是，尽管已经尝试改善TSNE的计算复杂性，但现有方法无法以UMAP的速度获得TSNE嵌入。在这项工作中，我们表明，通过将两种方法组合为单一方法，这确实是可能的。我们从理论上和实验上评估了TSNE和UMAP算法中参数的完整空间，并观察到单个参数（归一化）负责在它们之间切换。反过来，这意味着可以切换大多数算法差异而不会影响嵌入。我们讨论了这对基于UMAP框架的几种理论主张的含义，以及如何将它们与现有的TSNE解释调和。基于我们的分析，我们提出了一种新的降低性降低算法GDR，该算法结合了先前来自TSNE和UMAP的不兼容技术，并可以通过更改归一化来复制任何一种算法的结果。作为进一步的优势，GDR比可用的UMAP方法更快地执行优化，因此比可用的TSNE方法快的数量级。我们的实施是使用传统的UMAP和TSNE库的插件，可以在github.com/andrew-draganov/gidr-dun上找到。

二进制恒星经历各种相互作用和进化阶段，对于预测和解释观察到的特性至关重要。具有完整恒星结构和进化模拟的二元种群合成在计算上需要大量的质量转移序列。最近开发的二元种群综合代码Posydon结合了梅萨二元星模拟的网格，然后将其插值以模拟大型大型二进制文件。计算高密度直线网格的传统方法对于高维网格，不可扩展，这是一系列金属性，旋转和偏心率的范围。我们提出了一种新的活跃学习算法PSY-CRI，该算法使用数据收集过程中的机器学习来适应和迭代选择目标模拟以运行，从而导致自定义，高性能的训练集。我们在玩具问题上测试PSY-CRIS，发现所得的训练集比常规或随机采样网格所需的模拟更少以进行准确的分类和回归。我们进一步将psy-cris应用于构建Mesa模拟动态网格的目标问题，我们证明，即使没有微调，仅$ \ sim 1/4 $的模拟集也足以足以达到相同的分类精度。当针对目标应用程序优化算法参数时，我们预计将进一步增益。我们发现，仅对分类进行优化可能会导致回归中的绩效损失，反之亦然。降低产生网格的计算成本将使Posydon的未来版本涵盖更多的输入参数，同时保留插值精度。

这项研究提出了一种从Schlieren图像中提取定量信息的根本替代方法。该方法使用缩放的，衍生的增强的高斯工艺模型，从水平和垂直方向上的刀边缘从两个相应的Schlieren图像中获得真实的密度估计。我们说明了我们从风洞刺激模型，飞行中的超音速飞机和高阶数值冲击管模拟拍摄的Schlieren图像的方法。